Appearance
Causal panel analysis under parallel trends: Lessons from a large reanalysis study
Summary
Problem: 近年来方法论文献指出TWFE模型在HTE和PT假设违反下存在严重局限，并催生了大量新估计量和诊断程序，导致研究者对现有结果的可靠性以及当前最佳实践感到困惑。本文旨在弥合这一鸿沟，系统评估这些方法论批评在政治学实际研究中的经验相关性。 Approach: 作者首先对六种HTE稳健估计量（IW、stacked DID、CSDID、DID multiple、PanelMatch、imputation方法）进行了类型学梳理和比较。随后，他们复制并再分析了2017至2023年间发表于APSR、AJPS和JOP三大政治学期刊的49项使用TWFE模型进行因果推断的观察性面板研究，应用这些新估计量、诊断检验和敏感性分析来评估原始结论的稳健性。 Finding: 研究发现：（i）HTE稳健估计量在大多数研究中产生与TWFE定性相似但高度可变的结果；（ii）少数研究显示出明确的PT违反迹象，但许多研究缺乏支持该假设的证据；（iii）在考虑HTE和潜在PT违反后，许多研究统计功效不足。只有少数研究符合作者设定的“高度可信”标准。 Significance: 本文通过大规模经验再分析，将方法论批评从理论层面落实到实际研究评估，表明PT违反和功效不足是比HTE加权问题更紧迫的威胁，为政治学研究者提供了明确的方法论指导，并强调了强研究设计和充分功效的重要性。
Theoretical Framework
- Theoretical tradition: 因果推断与潜在结果框架（Rubin causal model），结合设计为基础的因果推断视角。
- Prior theories built upon: 严格外生性假设（Wooldridge 2010）；平行趋势假设；异质性处理效应下的TWFE分解理论（Goodman-Bacon 2021；de Chaisemartin and D’Haultfœuille 2020；Callaway and Sant’Anna 2021；Sun and Abraham 2021；Borusyak, Jaravel, and Spiess 2024）；无预期效应与无结转效应假设（Athey and Imbens 2022；Imai and Kim 2019）。
- Causal mechanism: 本文的核心机制是识别假设（PT和严格外生性）如何影响因果估计的有效性。当PT成立时，TWFE在HTE下可能产生负权重问题；当PT违反时，即使HTE不存在，估计量也有偏。作者通过再分析检验这些机制在实践中的严重程度。
- Key assumptions: TWFE模型假设严格外生性（隐含PT）、无预期效应、无结转效应、无空间溢出效应，以及处理效应为常数（或至少可解释为凸组合）。
- Theoretical move: 本文应用并综合了近年来DID方法论文献中的新估计量和诊断工具，将其大规模应用于已发表研究，以检验理论批评的经验相关性。同时，作者扩展了Rambachan and Roth (2023)的稳健置信集方法到插补估计量情境。
- Scope conditions: 研究范围限于二元处理、观察性面板数据、无空间干扰的设定；不涵盖连续处理、基于序贯可忽略性的方法，以及存在空间溢出效应的情形。
Research Design
本研究是一项再分析/复制研究（reanalysis study），属于元分析性质。分析单元是已发表的学术研究（study-level），而非个体或单位。关键自变量是研究是否使用TWFE模型及其估计结果；因变量是使用HTE稳健估计量后的估计结果、PT诊断结果和敏感性分析结论。作者对每项研究应用六种HTE稳健估计量（IW、stacked DID、CSDID、DID multiple、PanelMatch、imputation），并进行PT诊断检验和基于Rambachan and Roth (2023)方法的敏感性分析。
Data & Sample
样本包括49项发表于2017至2023年间APSR、AJPS和JOP三大政治学期刊的研究，这些研究使用TWFE模型（或近似变体）基于观察性面板数据（二元处理）进行因果推断。作者首先调查了102篇相关文章，其中64篇（63%）使用TWFE模型，最终成功复制和再分析了其中49篇。数据来源为已发表论文的复制材料（Chiu et al. 2025, Harvard Dataverse）。研究涵盖政治学各子领域，涉及不同国家/地区和时期。
Analytical Strategy
作者采用多种分析策略：（1）对每项研究应用六种HTE稳健估计量，比较其与TWFE估计结果的差异（符号、显著性和大小）；（2）使用事前趋势检验（pre-trend tests）和Rambachan and Roth (2023)的稳健置信集方法进行PT诊断和敏感性分析，后者避免了条件推断问题；（3）评估统计功效，考察在考虑HTE和潜在PT违反后，研究是否有足够功效检测到非零效应；（4）提出“高度可信”标准：使用HTE稳健估计量能统计上区分效应与零，且允许以事前安慰剂估计为基准的轻度PT违反。作者还提出了估计量的类型学分类（DID扩展 vs. 插补方法），并比较了各估计量的适用条件和等价性。
Results & Findings
- HTE稳健估计量与TWFE的定性一致性：在大多数研究中，HTE稳健估计量产生与TWFE定性相似的估计结果，表明HTE加权问题在多数应用中并非严重威胁。然而，估计量之间的对齐程度存在相当大的变异。
- 符号翻转案例：在三个案例中，至少一个HTE稳健估计量产生与TWFE估计相反符号的估计；其中一个案例中，相反符号的估计在5%水平上统计显著。这表明HTE问题在少数研究中可能导致实质性不同的结论。
- 统计功效不足：HTE稳健估计量倾向于产生更大的不确定性度量，加上点估计的小幅波动，可能削弱统计置信度。许多研究在考虑HTE和潜在PT违反后功效不足，即使轻度PT违反（以事前估计为基准）也足以使研究者无法排除零效应。
- PT假设的脆弱性：虽然只有少数研究显示出明确的PT违反迹象（可能导致虚假发现），但大多数研究缺乏足够功效来排除现实PT违反解释非零因果效应的可能性。这意味着许多研究的结论对PT假设的轻微偏离高度敏感。
- 高度可信研究为少数：只有少数研究符合作者设定的“高度可信”标准——即使用HTE稳健估计量能统计上区分效应与零，且允许轻度PT违反。作者承认这是一个高标准，大多数研究者未考虑所需的功效。
- 意外发现：与Baker, Larcker, and Wang (2022)在金融领域的发现不同，本文发现HTE加权问题虽然重要，但PT违反和功效不足是更主要的威胁。
Limitations
作者承认以下局限：（1）未考察基于序贯可忽略性（sequential ignorability）的方法，该框架允许动态处理选择但不假设无未观测混杂；（2）分析未涵盖连续处理的研究，这在政治学中很常见；（3）方法论文献快速演进，建议应视为反映当前最佳实践而非最终结论。此外，作者未处理空间溢出效应问题。
Key Contributions
- 提出了因果面板分析中各种估计器的类型学分类，基于适用场景和控制变量选择方式，并展示了若干估计器在某些情况下的等价性。
- 将Rambachan and Roth (2023)的稳健置信集敏感性分析方法适配到插补估计量情境，避免了条件推断问题。
- 通过大规模再分析（49项研究），系统评估了HTE稳健估计量在政治学实际研究中的表现，表明大多数研究的结论在定性上稳健。
- 揭示了PT违反和统计功效不足是比HTE加权问题更主要的因果推断威胁，纠正了文献中的关注重点。
- 提供了基于证据的实践建议，包括估计量选择和诊断工具使用，强调强研究设计和充分功效的重要性。
- 贡献于政治学复制与可重复性讨论，提供了可下载的复制材料。
Key Claims
"Our reanalysis shows that, in most studies, the HTE-robust estimators yield qualitatively similar estimates to TWFE models." (Section: Introduction)
"The primary concern, however, is the validity of the PT assumption. While only a few studies show clear signs of PT violations, which likely lead to spurious findings, most studies lack the power to rule out that realistic PT violations could explain a nonzero estimated causal effect." (Section: Introduction)
"Overall, we find that a small minority of the studies in our sample meet our criteria of being highly credible." (Section: Introduction)
"In light of these findings, we urge researchers to prioritize a strong research design and sufficient power in causal panel studies." (Section: Introduction)
"Our review suggests that while the weighting issue under HTE is important, the main threats to causal inference with panel data are PT violations and insufficient power." (Section: Introduction)